# DeepSeek R1本地部署显卡需求
很多小伙伴想要本地部署DeepSeek,但是不知道DeekSeek R1硬件需求,特别是显卡配置, 下面是根据官方指南整理的参数对应显卡显存需求:
# 1.显卡需求
参数 | 显卡显存最低需求 |
---|---|
1.5B | 4GB |
7B | 8GB |
8B | 8GB |
14B | 12GB |
32B | 24GB |
70B | H100 |
# 2.推荐主机配置
场景1:低成本本地推理(7B模型)
- GPU:RTX 3060 12GB(显存刚需)或二手 RTX 3090。
- CPU: AMD Ryzen 5 5600X / Intel i5-12400.
- 内存:32GB DDR4。
- 存储:1TB NVMe SSD。
- 备注:使用4-bit量化技术可降低显存占用(如Ilama.cpp或GPTQ优化)。
场景2:高性能推理(13B+模型)
- GPU: RTX 4090 24GB -XX RTX 3090 (NVLink).
- CPU: Intel i7-13700K / AMD Ryzen 9 7900X.
- 内存:64GB DDR5。
- 硬盘: 2TB NVMe SSD.
场景3:训练/微调
- GPU:至少双 A100 40GB(需 NVLINK 互联)或H100集群。
- 内存:128GB+ ECC内存。
- 网络:高速 RDMA (InfiniBand)支持多节点训练。
# 3.安装命令
以下是对应的安装命令
DeepSeek-R1-Distill-Qwen-1.5B
ollama run deepseek-r1:1.5b
DeepSeek-R1-Distill-Qwen-7B
ollama run deepseek-r1:7b
DeepSeek-R1-Distill-Llama-8B
ollama run deepseek-r1:8b
DeepSeek-R1-Distill-Qwen-14B
ollama run deepseek-r1:14b
DeepSeek-R1-Distill-Qwen-32B
ollama run deepseek-r1:32b
DeepSeek-R1-Distill-Llama-70B
ollama run deepseek-r1:70b